ChatGPT操作能力測驗規畫

使用目標族群與使用目的

• 評估ChatGPT初學者～中級使用者的ChatGPT操作能力

測驗類型與形式

• 能力測驗
• 傳統測驗 + 複本
  • 理想是發展為電腦化適性測驗，但發展成本太高，短期內不易完成。先以傳統測驗 + 複本為目標形式發展，未來再行擴展。

預計發展之測驗長度

• 以半小時以內可以完成，最長一小時內完成為目標
• 每題時間限制10 ~ 15分鐘，故最多4 ~ 6題

欲測量之功能操作能力

ChatGPT的功能眾多，但為了顧及測驗時間長度需選擇較大多數使用者的都可能使用的功能，或是能應用範圍較廣的功能。目前預計測量「產生文本」、「修改既有文本」、「分析、摘錄重點、或統整文本」這三種功能之操作能力，各能力之說明如下：

• 「產生文本」。指使用大型語言模型AI協助完成各種長度的文字語詞、句子或段落（包含構想、大綱或整篇文章）。
• 「修改既有文本」。指使用大型語言模型AI協助對既有文本進行修正、簡化、增補或改寫（包含語氣、結構或格式等）。
• 「分析、摘錄重點、或統整文本」。指使用大型語言模型AI協助分析文章中文字、語句、意涵或語氣，或是擷取重點，或是比較與匯整多篇文章的內容。

其他幾種功能可能不適合作為操作能力測驗測量的功能。「撰寫、修改與學習程式碼」可能是部份領域使用者較常見的功能，而不是廣泛常見的功能。「尋求資訊、建議或知識」可能涉及專業知識或是個人主觀偏好，較難制定答案，評分可能比較困難。